AWS OpenSearch 기반 EFK 구축으로 재고 관리 효율 UP!
by DD
2년 전
조회수 7
OpenSearch + EFK를 활용하여 재고 변경 이력 관리 시스템을 구축함
FluentBit을 사용하여 Fargate 환경에서 로그를 수집하고 OpenSearch로 전송
Rest API를 통한 데이터 적재 및 Index Lifecycle Management를 통한 비용 효율성 확보
EFK Stack 아키텍처 심층 분석
EFK 스택은 OpenSearch를 중심으로 FluentBit을 사용하여 로그를 수집하고, Kibana를 통해 시각화한다. 구체적으로 FluentBit의 Firelens 플러그인을 활용하여 Fargate 환경에서 로그 라우팅을 구현한다. 따라서, 로그 수집 및 분석 파이프라인을 구축하여 재고 데이터 관리에 활용한다.
FluentBit 설정과 로그 라우팅 전략
FluentBit 설정은 rewrite_tag, parser, record_modifier 필터를 사용하여 로그를 정제한다. rewrite_tag를 통해 특정 로그에 태그를 추가하고, parser로 JSON 형식으로 파싱한다. 반면, record_modifier를 통해 불필요한 필드를 제거하고, nest lift를 통해 중첩된 JSON 구조를 펼친다. 결과적으로 OpenSearch로 전송할 로그를 필터링한다.
OpenSearch Rest API를 활용한 데이터 적재
OpenSearch는 Rest API를 지원하여, FluentBit 없이도 직접 데이터를 적재할 수 있다. 구체적으로 OpenSearch Low level client를 사용하여 Bulk API를 호출한다. 따라서, 예외 처리 및 유연한 데이터 처리가 가능하며, 대량 데이터 적재 시 청크 단위로 나누어 전송해야 한다.
